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Priifungsantrag gem. S 44 PatG ist gestellt 

@ Verfahren zum beleuchtungsdynamischen Erkennen und Klassifizieren von Oberflachenmerkmalen und 
-defekten eines Objektes und Vorrichtung hierzu 

@ Die Erfindung betrifft ein Verfahren und eine Vorrichtung 
zum beleuchtungsdynamischen Erkennen und Klassifizieren 
von Oberflachenmerkmalen und -defekten eines Objektes 
(1), wobei die zu detektierende Oberflache mittels mehrerer 
Beleuchtungsquellen (2, 3) beleuchtet wird, die eine unter- 
schiedliche Positionierung im Raum haben und die Beleuch- 
tungsquellen sequentiell das Objekt beleuchten und das von 
der Oberflache in jedem Zeitpunkt jeweils diffus zuriickge- 
worfene Oder reflektierte Licht mittels einer Videokamera 
(7). die eine Bildspeichereinrichtung (9) aufweist, als raum- 
zeitlich verschiedene Bilder aufgenommen werden. Das 
Objekt (1) ist von einem Beleuchtungshimmel umgeben, 
dessen flachige Lichtquellenanordnung (2) sich mit vorgeb- 
— barer Winkel- und Intensitatsabstufung frei programmieren 
lafit. mittels derselben eine variable Anzahl beliebiger Ucht- 
funktionen erzeugt wird, die das Objekt nacheinander be- 
leuchten, wobei das Objekt zusatzlich aus einem begrenzten 
Raumwinkelbereich mit einer weiteren programmierbaren 
Lichtquelle (3) Qber eine Kollimationsoptik so beleuchtet 
wird, daE fiir alls Punkte einer ebenen Objektoberflache die 
Reflexionswinkelbedingung erfullt wird und eine geeignet 
gewahlte Punktquelle uber die als ebener Spiegel gedachte 
Oberflache in die Kamerapupille abgebildet wird. Die entste- 
henden Bilder werden von der Videokamera (7) aufgenom- 
men und in einer Bildspeichereinrichtung (9) abgespeichert; 
die Grauwertfolgen des aufgenommenen Bildstapels konnen 
einer ... 
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Beschreibung 



Technisches Gebiet 

5 

Die Erfindung betrifft ein Verfahrcn zum beleuchtungsdynamischen Erkennen und Klassifizieren von Oberfla- 
chenmerkmalen und -defekten eines Objektes gemaB dem Oberbegriff des Anspruchs 1 und Vorrichtung hierzu. 

Stand derTechnik 

10 

In dem Aufsatz von R. Malz: Der Einsatz schneller Beleuchtungsoperationen fiir die robuste Merkmalsextrak- 
tion und Segmentierung in der industriellen Objekterkennung und Qualitatspriifung, Informatik-Fachberichte 
"Mustererkennung 1988", DAGM-Symposion 1 988, Springer- Verlag, Seite 270 bis 276, wurde eine Beleuchtungs- 
anordnung vorgeschlagen, die aus vier Beleuchtungsmodulen besteht: 

15 einem Auflichtmodul zur schattfreien Ausleuchtung diffus streuender Objekte, realisiert mit einer Punktlicht- 
quelle, die iiber einen Teilerspiegel in den Beobachtungsstrahlengang der CCD-Matrixkamera eingespielt ist, 
einem Streiflichtmodul zur Aufhellung von Kanten und diffus streuenden Oberflachenfehlern, realisiert durch 
eine oder mehrere Ringlampen, einem Durchlichtmodul zur Aufhellung der Innenflachen und Rander von 
Objektdurchbriichen, und einem Reflexionslichtmodul zur gleichmaBigen, reflektorischen Hellfeld-Beleuchtung 

20 von ebenen oder schwach gekrummten Oberflachen, bestehend aus einem Beleuchtungsarray mit Fresnel-Linse 
und einem Teilerspiegel. 

Im gleichen Aufsatz wurde ein weiteres Beleuchtungssystem vorgeschlagen, das mit Hilfe eines zweidimensio- 
nal abgelenkten und in seiner Intensitat elektrisch modulierten Halbleiterlasers wahrend der Belichtungszeit 
eines einzelnen Kamerabildes beliebig positionierbare Punkt- Cluster-, Linien- und Flachenlichtquellen erzeugt, 

25 die mit jedem Bild wechsel verandert werden konnen. 

Merkmale mit anisotropen Streu- und Reflektionseigenschaften, wie Kanten oder Kratzer, liefern nur dann 
einen maximalen Bildkontrast, wenn sie aus einem kleinen Raumsektor beleuchtet und betrachtet werden, der 
sich je nach Orientierung der Merkmale andert Des weiteren muB beleuchtungstechnisch der gesamte Raum- 
winkel verfflgbar sein, weil ansonsten nicht samtliche Merkmale oder Fehler optimal beleuchtet werden kdnnen. 

30 Beide genannten Beleuchtungssysteme genugend daher noch nicht den Anforderungen, die an ein Inspek- 
tionssystem gestellt werden, das mit hohen Taktraten an standig wechselnden Objekttypen und Objektorientie- 
rungen unterschiedliche Fehlertypen mit maximalem (Contrast detektieren und klassifizieren soil. 

Aufgabe der Erfindung 

35 

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung der genannten Gattung zu 
schaffen, mit der bei Objekten, wie Metallteilen, Keramikscheiben, Blechen, Halbleiter-Chips, Hybridbausteinen, 
SMD-Schaltungen, Dichtungen etc. Merkmale und Defekte der Oberflache, wie Kanten, Texturen, Knicke, 
Farbflecke, matte Stellen, Welligkeiten, Risse u. a. m, mit hoher Zuverlassigkeit und Geschwindigkeit detektiert 
40 und klassifiziert werden kdnnen. 

Darstellung der Erfindung und deren Vorteile 

Die Losung der Aufgabe besteht in den Merkmalen des Anspruchs I. Weitere Ausgestaltungen des erfin- 
45 dungsgemaBen Verfahrens sind in den Unteransprilchen: eine erfindungsgemaBe Vorrichtung in Anspruch 6 
gekennzeichnet. 

Das erfindungsgemaBe Verfahren weist den Vorteil auf, daB mit diesem Merkmale und Defekte der Oberfla- 
che eines Objektes, wie Kanten, Texturen, Knicke, Farbflecke, matte Stellen, Welligkeiten. Risse u. a. m., mit 
maximal m6glichem Signal-Rauschverhiltnis bzw. mit maximalem Kontrast detektiert und unabhangig von der 

50 jeweiligen Bildumgebung pixelweise. d. h. fiir jeden Oberflachenpunkt getrennt, klassifiziert werden konnen, 
weil die erhaltene Information jeweils in der zeitlichen Grauwertsequenz enthalten ist. Durch die vollstandige 
Bereitstellung aller Beleuchtungswinkel wird in vorteilhafter Weise erreicht, daB die Merkmale mit Optimalfil- 
tern bzw. Matched-Filtem extrahiert werden konnen. 
Bei ring-, sektor- oder ringsektorf&rmigen Verteilungen der Beleuchtungsfunktionen und wenn als Merkmals- 

55 analyse eine Fourier- oder ahnliche Transformation verwendet wird. wird vorteilhaft eine rotationsinvarante 
Klassifizierung der Merkmale erhalten. Mit einem Auswerteprogramm kann dann das Ergebnis der DFT-Opera- 
tion graphisch dargestellt werden und die unterschiedlichen Fehlerklassen in n-periodische {Di > D 2 ) oder 
2n-periodische (D| < D2) oder nichtperiodische mit geringen Anderungen in der Grauwertsequenz (groBes Do, 
kleines D| + D 2 ) oder durchgehende dunkle (alle Spektralwerte gering) Grauwertsequenzen unterschieden 

60 werden. 

Streut die Oberflache isotrop, dann sind zur rotationsinvaranten Klassifizierung gerichteter Merkmale kreis- 
symmetrische Beleuchtungssequenzen (Fig. 2) zweckmaBig. Ist jedoch die Oberflachenstruktur, zum Beispiel 
durch gerichtete Bearbeitung, wie Schleifen. nicht mehr rotationssymmetrisch, dann kann zur optimalen Signal- 
trennung von Oberflachen und gesuchtem Merkmal der Einsatz von elliptischen Beleuchtungsfunktionen vor- 
65 teilhaft sein. Dabei muB die Strukturorientierung zur Ausrichtung der Ellipsen-Hauptachsen bekannt sein. was 
vorher mil Testbeleuchtungsfunktionen bestimmt werden kann. 

In vorteilhafter Weise konnen die einzelnen Lichtquellen innerhalb des Beleuchtungshimmels. (der vorzugs- 
weise kugelformig ist und auf dem sich beliebige Punkt-, Linien- oder Flachenlichtquellen befinden konnen). 
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durch Farblichtquellen ersetzt sein, vorzugsweise durch drei Farblichtquellen grim, rot und blau. Auf diese Weise 
Icann der Aufwand der Bildaufnahme mindestens urn den Faktor 3 reduziert werden, weil ein Farbbild einer 
Sequenz von mindestens drei Graubildern entspricht. 

Zur DurchfOhrung des Verfahrens wird vorteilhafterweise der Nullpunkt des Beleuchtungskoordinatensy- 
stems in diejenige Punktlichtquelle gelegt, die Ober die als Spiegel gedachte Objektebene in die Kameraquelle 5 
abgebildet wird und damit zum Hellfeld fuhrt. Kleinere Verkippungen der Objektebene konnen durch eine 
relative Translation der Beleuchtungskonfiguration mit geringem Aufwand korrigiert werden, da die Beleuch- 
tungsanordnung kartesisch und damit translationsinvariant ist 

Zum Verstandnis des Verfahrens ist die Betrachtung der verallgemeinerten Beleuchtungs-Bildmatrix I(x,y£(p) 
hilfreich, die den Zusammenhang zwischen der Leuchtdichtematrix L(£<P) " n d der Bildmatrix B(x > y) beschreibt 10 
und die gesamte fotometrische Information iiber das Objekt enthalt, die mit der erfinderischen Vorrichtung 
uberhaupt gewonnen werden kann. Das Beleuchtungsarray erlaubt es, den 4-dimensionalen Beleuchtungs-Bild- 
raum I(x,y,S,<|>) in einer diskreten Form I(x,y,ij) zu erzeugen. Lichtpunkt fur Lichtpunkt wird angesteuert und das 
jeweils entstehende Bild in den Bildspeicher abgelegt. Mit einer Benutzeroberflache kdnnen verschiedene 
Projektionen oder Schnittebenen dieses 4-dimensionalen Datenraums betrachtet werden. 15 

Fur die pixelweise Untersuchung der Objektoberflache eines Objektes spielt die lokale, d. h. fur feste x- und 
y-Koordinaten gewonnene Streu-, Reflektions- und Schattencharakteristik eine entscheidende Rolle. Ein matter 
Fleck, der die Streukeule verbreitert, hat eine gleichmaBige Streucharakteristik ohne bevorzugte Richtung 
(isotrope Streucharakteristik). Punkte eines richtungsabhangigen Oberflachenmerkmals zeichnen sich durch 
eine anisotrope Streucharakteristik aus und unterscheiden sich von solchen mit isotroper Streucharakteristik. 20 
Beispielsweise streut ein Oberflachenpunkt, der zu einem gerichteten Oberflachenmerkmal gehdrt (Kratzer 
oder Kante) vornehmlich das Licht in die Videokamera, das senkrecht zu seiner Orientierung eintriff t. Ein Punkt, 
der die Neigung der reflektierenden Oberflache verandert, bevorzugt Streulicht aus einem bestimmten Sektor 
der Leuchtdichtematrix. Bei einem Fehlerpunkt mit verkippter spiegelnder Oberflache erzeugt ein einziger 
Lichtpunkt des Beleuchtungshimmels einen hellen Grauwert in der Videokamera. 25 

Durch das erfindungsgemafle Verfahren konnen nun Bilder mit mdglichst geringer Redundanz und maxima- 
lem Aussagewert erzeugt werden. Dabei eignen sich im einfachsten Fall Hellfeld- und Dunkelfeldbeleuchtung 
als Konzepte zur Extraktion der Oberflachenmerkmale, wobei diejenige Beleuchtungsfunktion gewahlt wird, die 
einen Maximalkontrast fur die Fehlerquelle liefert. Ein optimales Beleuchtungsfilter wird erhalten, indem die 
Streucharakteristik als Beleuchtungsfunktion aufgefaBt wird. So ist beispielsweise die Hellfeldbeleuchtung mit 30 
einer Punktquelle ein Optimalfilter filr einen idealspiegelnden Oberflachenpunkt, bei dem das Grauwerteergeb- 
nis einer Kamera maximal ausfallt, bei jeder anderen Oberflachenstruktur hingegen absinkt. Bei Oberflachen- 
punkten mit stark anisotrop streuenden Eigenschaften, wie Kratzer oder Kanten, die in der Regel mit verschie- 
denen Orientierungen auftreten, wird aus einer Richtung senkrecht zur Orientierung des Objektmerkmals 
beleuchtet, so daB das Helligkeitssignal in der Kamera deutlich starker ist, als bei einer Beleuchtung aus anderen 35 
Richtungen. Wegen der Richtungsabhangigkeit der Streucharakteristik ist somit ein optimales Beleuchtungsfil- 
ter nur in der Lage, anisotrop steuernde Merkmale in einer bestimmten Richtung zu detektieren. Deshalb 
werden in diesem Fall Beleuchtungssequenzen aus einer Vielzahl von Raumwinkeln eingesetzt. Dazu wird die 
Leuchtdichtematrix in Sektoren aufgeteilt, die nacheinander angesteuert werden. Dadurch werden rotationsin- 
variante bzw. von der Orientierung des Objektes unabhangige Ergebnisse erhalten, weil zwischen verschiedenen 40 
Arten von Streucharakteristiken unterschieden werden kann. 

Wird als Vorrichtung zur Bildung des kuppelfdrmigen Beleuchtungshimmels ein Hohlspiegel, insbesondere 
Parabolspiegel, verwendet, so besitzt dieser den Vorteil, daB aufgrund der Abbildungsgesetze die vom Parabol- 
spiegel mehr oder weniger horizontal reflektierten Lichtstrahlen, wie fur eine ortsunabhangige Streuung gefor- 
dert, in Richtung zum Brennpunkt und zum Objekt parallel oder mehr oder weniger parallel verlaufen. so daB 45 
der virtuelle Abstand der diffus beleuchtenden Lichtquellen vom Objekt sehr groB ist und in erster Naherung als 
praktisch unendlich gelten kann. Das mehr oder weniger vertikal auf das Objekt einfallende Strahlenbundel ist 
hingegen konvergeht, so daB die Lichtquellen iiber die als spiegelnde Ebene gedachte Objektoberflache in die 
Ebene der Kamerapupille abgebildet werden. Damit konnen (wie beim eigens dafiir realisierten Reflektions- 
Lichtmodul) spiegelnde Oberflachen gleichmaBig im Hellfeld beleuchtet werden. Zu dieser speziellen Anpassung 50 
kann der virtuelle Abstand der Lichtquellen variiert werden: Der Abstand der unteren Lichtquellen, wie 
LED-Arrays, vom Parabolspiegel ist entscheidend fur die Strahlenformation, die auf das Objekt im Brennpunkt 
auftritt, ob es sich also urn konvergentes, divergentes oder paralleles Licht handelt, weshalb der Abstand 
vorteilhaft variabel ist. Der geometrische On der Punktlichtquelle, die im Brennpunkt paralleles Licht erzeugt. 
ist ein Paraboloid oder ahnlich geformt Konvergentes bzw. divergentes Licht wird dann im Brennpunkt erzeugt. 55 
wenn sich die Lichtquelle unterhalb bzw. oberhalb des geometrischen Ortes befindet; paralleles Licht zum 
Brennpunkt wird erzeugt. wenn die Lichtquelle sich auf diesem geometrischen Ort befindet. 

Ein weiterer Vorteil besteht darin, daB die Vorrichtung auBerst kompakt ist. Der Hohlspiegel kann des 
weiteren vorzugsweise einstuckig aus transparentem Glas oder Kunststoff ohne Aussparung bestehen und in 
seinem obersten Bereich unverspiegelt sein zur Bildung einer Durchtrittsoffnung fur das der reflektorischen m 
Beleuchtung dienende Licht der Beleuchtungseinrichtung. 

Kurzbeschreibung der Zeichnung 



Es zeigt *> 5 
Fig. I einen schematischen Querschnitt durch eine Beleuchtungsvorrichtung zur DurchfOhrung des erfin- 
dungsgemaBen Verfahrens an einem Beleuchtungshimmel in Form einer Halbkugel und 
Fig. 2 eine Draufsicht auf den Beleuchtungshimmel zur Darstellung der verschiedenen an wahlbaren Sektoren. 
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in denen sich jeweils eine oder eine Mehrzahl von Lichtquellen bef inden konnen 
Fig. 3 einen Algorithmus eines FluBdiagramms fOr Pixel-Klassifikation mit(N + 2) Beleuchtungen 
Fig. 4 einen schematischen Querschnitt durch eine Beleuchtungsvorrichtung bestehend aus einem zweidimen- 

sional gekrflmmten Beleuchtungshimmel mit einer Beleuchtungsanordnung und 
Fig. 5 eine weitere Beleuchtungsvorrichtung mit zweidiraensional gekrummt Beleuchtungshimmel und einer 

gestalterisch abweichenden Beleuchtungsanordnung und Objektzufflhrung. 

Ausf uhrung der Erfindung 

Ober eine Basis 8 (Fig. 1) wdlbt sich ein halbkugelfdrmiger Beleuchtungshimmel, in welchem eine Vielzahl von 
Lichtquellen 2 angeordnet sind, vorzugsweise in verschiedene Sektoren s mfl gemaB der Fig. 2 aufgeteilt, wobei 
die Lichtquellen in ihrer Intensitat einzeln freiprogrammierbar sind. Des weiteren befmdet sich im Beleuchtungs- 
himmel ein Beleuchtungsmodul, welches eine Mehrzahl von Lichtquellen 4 aufweist, die vorzugsweise als 
kartesisches Array angeordnet sind. Vor dem Beleuchtungsmodul 3 befindet sich eine Optik 5, die das von einer 
einzigen oder von wenigen Lichtquellen 4 ausgesandte Licht dergestalt biindelt, daB es zur gleichmaBigen 
Hellfeldausleuchtung ebener, reflektierender Oberflachen I geeignet ist Das Beleuchtungsmodul 3 dient insbe- 
sondere fur die Welligkeit- und KnickprOfung an reflektierenden Oberflachen und somit zur Klassifizierung von 
Oberflachenneigungen. Die Lichtquellen 2 dienen zur diff usen Beleuchtung. 

Das von den Lichtquellen 2 und 4 auf das Objekt 1 geworfene und von diesem gestreute und reflektierte Licht 
wird von einem Objektiv 6 einer Videokamera aufgefangen und auf eine CCD-Matrix der Videokamera geleitet; 
die CCD-Matrix 7 ist an eine Bildspeichereinrichtung 9 angeschlossen, welche die Graubildfolgen speichert. 
Nach Abspeichern einer bestimmten. vorgebbaren Anzahl von Bildern bzw. Farbbildern innerhalb einer Bild- 
speichereinrichtung 9 der Videokamera werden die Bildinhalte bezuglich der Beleuchtungskoordinaten einer 
Fouriertransformation, vorzugsweise eine 2D-Fouriertransformation, unterworfen, urn Betrag und Phase der 
Beleuchtungswinkelabhangigkeit des einzelnen Bildpunktes zu bestimmen. 

Diese Klassifikationsmethode baut auf den prinzipiellen Eigenheiten der Grauwertsequenz auf, die bei Durch- 
laufen der sektoriellen Beleuchtungen erhalten werden. Die Grauwertsequenz wird als endlicher Ausschnitt 
einer periodischen, zeit- und wertdiskreten Funktion angesehen, die in ihre Basiskomponenten zerlegt werden 
kann; Betrag und Phase der Komponenten werden durch diskrete Fouriertransformation (DVT) der Anzahl N 
Grauwerte der Sequenz erhalten. 

Die Sektorzahl N soil dabei fur die Fouriertransformation eine Potenz von 2 sein und hSngt gemaB dem 
Abtasttheorem von der Periode der kompliziertesten relevanten Streucharakteristik ab: 

N £ 2x 2jl/T m in 

Hat man es mit jt-periodischen Phanomenen zu tun, muB mit mindestens vier Sektoren beleuchtet werden. FOr 
N - 4 konnen somit beispielsweise die Grauwertsequenzen durch Beleuchtung aus vier Raumsektoren gewon- 
nen und anschlieBend einer Fouriertransformation unterzogen werden. Die Ergebnisse dieses Vorgangs fur drei 
Fehlerklassen sind nachfolgend dargestellt und lassen sich wie folgt beschreiben: 

(A) Die Grauwertsequenz eines Kratzers ist n-periodisch (2 Maxima), da das Licht aus 2 senkrecht zu seiner 
Orientierung liegenden Beleuchtungssektoren in die Kamera gestreut wird. Das Betragsspektrum weist 
eine groBe 2. Komponente auf, die Phase der 2. Komponente b 2 gibt die Orientierungsrichtung des Merk- 
mals an. 

(B) Die Grauwertsequenzen eines Punktes ist 2n-periodisch. da er das Licht aus einem bestimmten Beleuch- 
tungssektor in die Kamera streut. Das Betragsspektrum hat einegroBe 1. Komponente. 

(C) Ein isotrop streuendes Objektmaterial (Spiegel, Fleck) hat eine konstanie Grauwertsequenz. Sein 
Betragsspektrum besteht nur aus einem Gleichanteil. der ein MaB fur die Streuintensitat darstellt. 



Nachfolgend ist eine Spektralanalyse dreier exemplarischer Grauwertsequenzen gezeigt. wobei die horizon- 
tale Koordinateden azimutalen Beleuchtungswinkel beschreibt 
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ir-periodisch: 
(Kratzer, Kanle) 



2n-periodisch: 
(Punkl. Krater) 



Grauwerte: l 7TTT i > 17TTT7> 

0 x/2 it 3k/2 2k Ok/2% 2x12 2k 



Helligkeilstkt.: 



O it/2 k 3it/2 2k 0 k/2 k 3k/2 2k 



Gleichanleil: 



-i — h-> 



O it/2 x 3k/2 2k 0 k/2 k 3k/2 2k 



1. Komp.: 



-i 1 1 (— > 



O k/2 k 3k/2 2k 



0 k/2 k 3h/2 2k 



2. Komp.: 




^•^3 » 



Betragsspekt. 



o 1 



konstant: 
(Fleck. Spiegel) 

I I I I I) 



0 k/2 k 3x/2 2k 



. .. D 

k/2 k 3k/2 2x 



-h 



k/2 n 3k/2 2k 



1 1 1 1 i 

k/2 k 3 k/2 2k 



0 1 2 



Mit Hilfe der Fouriertransformation kann nun ein Oberflachenpunkt bzw. ein Pixel des Bildes der Videokame- 
ra klassifiziert werden, wobei nachfolgend ein erfindungsgemaBer moglicher Algorithmus in Form eines FluB- 
diagramms fur die schnelle hierarchische Klassifizierung in beispielsweise vier idealisierte Fehlerklassen, wie 
Spiegel, Punkt. Kratzer und Fleck, gezeigt sind. Ein unversehrter Punkt der Oberflache (Spiegel-Punkt) kann w 
sofort ausgesondert werden, indem Hell- und Dunkelfeldbild mit in Betracht gezogen werden. In diesem Fall ist 
die Klassifikation ohne die Fouriertransformation beendet. 



45 
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Grauwertdaten des Beleuchtungsversuchs: 
N Sektoren-, HellfekJ-, DunkelfekJbeleuchiung 
= N+2 Bilder 



Extrahiere eine Grauwertsequenz 
d n (n=0,1 N+1) 




Fourier Transformation 
d n (n=0.1 N-1) D k a,, (k=0,1,2) 




Spiegel 



Kratzer 
(Orientierung:0 2 ) 



Punkt Fleck 



GemaB der Fig. 4 wolbt sich fiber einer Ebene 35 oder Basis ein Beleuchtungshimmel, der vorzugsweise ein 
innenverspiegelter Parabolspiegel 1 1 oder ein innenverspiegelter Spiegel mil eiwa paraboloidiseher Form ist 
oder ahnlich zweidimensional gekrummt ist und der, vorzugsweise im obersten Bereich der W6)bung. eine 
SO Offnung 12 zum Lichtdurchtritt besitzt; diese Offnung kann auch aus einem unverspiegelten, transparenten 
Materialfeld des Spiegels besiehen. 

FDr weniger genaue Merkmalsextraktionen kann der Beleuchtungshimmel halbkugelformig, fiir beste Merk- 
malsextraktionen angepaBt zweidimensional gekriimmt sein. 
Umerhalb der Offnung 12 des Spiegels 1 1 befindei sich auf einem transparenten Trager 13 ein zu analysieren- 
55 des Objekt 10. 

Unterhalb des Tragers 13 befindet sich auf der Ebene 35 eine Beleuchtungseinrichtung 14, die aus einer 
Mehrzahl von kartesischen Lichtquellenfeldern IS, 15', 15" besteht. wobei jedes Lichtquellenfeld eine Mehrzahl 
von einzelnen Lichtquellen 17, 17' aufweist Die Lichtquellenfelder 15, 15', 15" sind vorzugsweise LED-Arrays, 
deren einzelne Lichtquellen 17, 17' einzeln oder in Cruppen sequentiell ansteuerbar sind. Direkt oberhalb der 

w Lichtquellenfelder 15, 15', 15" kann ein dieselben abdeckender Diffusor angeordnet sein. der ein Tiefpass ist und 
dazu dient. daB die Lichtquellen ortskontinuierlich sind, urn das Abtasttheorem zu erfiillen. 

Die Beleuchtungseinrichtung oberhalb des Spiegels II und der Offnung 12 besteht aus wenigstens einer 
Reflexions-Lichtquelle 23 und ist vorzugsweise ebenfalls ein LED-Array, der eine Optik 25 zur reflektorischen 
Beleuchtung des Objektes (10) aus einem begrenzten Raumwinkel vorgeschaltet ist und vor der sich ebenfalls ein 

65 Diffusor 24 befinden kann. Die im Strahlengang der von der Beleuchtungseinrichtung 23 ausgesandten Licht- 
strahlen 32 befindliche Optik ist beispielsweise eine Kollimationslinse 25. auf die ein Teilerspiegel 20 folgt. 
Seitlich des Teilerspiegels ist eine Videokamera 21 mil Bildspeichereinrichtung angeordnet. die eine Optik-Blen- 
den-Einrichtung 22 aufweisen kann. Die Beleuchtungseinrichtung 23 und die Videokamera 21 sind dergestalt 
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aufeinander abgestimmt, daB die Konvergenz des Lichtbiindels 32 gleich der Konvergenz des Beobachtungs- 
lichtbQndels 32' ist 

Die Beleuchtungseinrichtung 23 dient der mehr oder weniger vertikalen Beleuchtung flacher, reflektierender 
Objekte, wobei das Lichtstrahlenbiindel 32 durch die Kollimationslinse 25 und nach Passieren des Teilerspiegels 
20 sowie der Offnung 12 innerhalb des Spiegels 11 als konvergentes Lichtbundel auf das Objekt 10 auftritt, von 
dort reflektiert und durch den Teilerspiegel 20 auf die Videokamera 21 geworfen wird. Die Beleuchtungseinrich- 
tung 23 arbeitet analog der in Fig. 1 beschriebenen Beleuchtungseinrichtung 3. 

Von den einzelnen Lichtquellen 17, 17' der Lichtquellenfelder 15, 15', 15" werden Lichtbundel 19 zum Spiegel 
11 gesandt, die von dort als parallele Lichtbundel 19' auf das Objekt 10 fallen, welches sich im Brennpunkt oder 
ungefahr im Brennpunkt des Spiegels 1 1 befindet Diese mehr oder weniger horizontal einfallenden Lichtbundel 
19' werden gestreut und durch den Teilerspiegel 20 auf die Videokamera 21 gelenkt. Von oben hingegen trifft auf 
das Objekt 10 konvergentes Licht ein, so daB die erfindungsgemaBe Vorrichtung die theoretischen Vorausset- 
zungen fur das gleichzeitige Vorhandensein von horizontalen, parallelen Beleuchtungs-Lichtstrahlen und von 
vertikalen, konvergenten Beleuchtungs-Lichtstrahlen gleichermaBen erfullt. 

Alternativ kann statt dem Kamerastrahlengang der Beleuchtungsstrahlengang abgeknickt verlaufen; alterna- 
tiv zur Linse kann auch ein Spiegel zur Kollimation vorhanden sein. Ebenso konnen die in Hellfeld gebrachten 
Objektoberflachen spharisch gekrummt sein, wenn die Kollimationsoptik entsprechend angepaBt ist 

Fig. 5 zeigt eine abgewandelte Beleuchtungseinrichtung 26, bestehend aus einer Mehrzahl von kartesischen 
Lichtquellenfelder 28, 28', die wie die Lichtquellenfelder der Fig. 4 aufgebaut sein kfinnen. Die Lichtquellenfelder 
28, 28' sind ebenfalls mit einem Diffusor 30 abgedeckt Die Beleuchtungseinrichtung 26 sowie der Diffusor 30 
weisen mittig je eine Aussparung 29 bzw. 31 auf, durch die ein Objekttrager 33 mit dem zu detektierenden 
Objekt 10 in vertikaler Richtung verschoben werden kann. Durch eine einfache H6hen- und Seitenverstellbar- 
keit kann somit das Objekt 10 bezuglich des Brennpunktes des Spiegels 1 1 vertikal und gegebenenfalls auch 
horizontal korrigiert werden. Ansonsten entspricht die Ausgestaltung des Spiegels 11 sowie der Beleuchtungs- 
einrichtung 23 und der Videokamera 21 derjenigen der Fig. 1. 

Die GroBe und Anzahl der optimal erforderlichen Sektoren hangt von der Objektfunktion mit der niedrigsten 
Halbwertsbreite ab. Die geeignete Sektorzahl kann gefunden werden, indem das Verhaltnis zwischen Merkmals- 
signal und Oberflachensignal iiber der Zahl der Sektoren aufgetragen wird. Dabei zeigt sich nach einem steilen 
Anstieg meist eine rasche Sattigung; bereits mit 3 bis 8 Bildern lassen sich leistungsfahige Fehlererkennungen 
realisieren, die gegenuber statisch beleuchteten Einzelbildern von wesentlichem Vorteil sind. 

Liste der Bezugszeichen 

1 0bjekt 

2 Lichtquellen 

3 Beleuchtungsmodul 

4 Lichtquellen 
50ptik 
60bjektiv 

7 CCD-Matrix 
80bjektebene 

9 Bildspeichereinrichtung der Video-Kamera 

10 Objekt 

11 Spiegel 

12 Offnung 

13 transparenterTrager 

14 Beleuchtungseinrichtung 

15, 15', 15" ebene Lichtquellenfelder 
16 Bewegungsdoppelpfeil 
17, 17' einzelne Lichtquellen 

18 Diffusor 

19 LichtbUndel einer einzelnen Lichtquelle zum Spiegel 

19' vom Spiegel reflektiertes Lichtbundel einer einzelnen Lichtquelle 

20 Teilerspiegel 

21 Videokamera mit Bildspeichereinrichtung 

22 Optik-Blenden-Einrichtung 

23 Beleuchtungseinrichtung 

24 Diffusor 

250ptik.z. B. Kollimationslinse 

26 Beleuchtungseinrichtung 

27 Bewegungsdoppelpfeil 
28,28' ebene Lichtquellenfelder 
29,31 Aussparungen 

30 Diffusor 

32 Lichtbundel 

32' Beobachtungslichtbundel 

33 Objekttrager 

34 Bewegungsdoppelpfeile 

35 Ebene 
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Patentanspruche 

1. Verfahren zum beleuchtungsdynamischen Erkennen und Klassifizieren von Oberflachenmerkmalen und 
-defekten eines Objektes (1), wobei die zu detektierende Oberflache rnittels mehrerer Beleuchtungsquellen 
(2, 3) beleuchtet wird, die eine unterschiedliche Positionierung im Raum haben und die Beleuchtungsquellen 
sequentiell das Objekt beleuchtet und das von der Oberflache in jedem Zeitpunkt jeweils diffus zuriickge- 
worfene oder reflektierte Licht rnittels einer Videokamera (7), die eine Bildspeichereinrichtung (9) aufweist, 
als raum-zeitlich verschiedene Bilder aufgenommen werden, dadurch gekennzeichnet, daB das Objekt (1) 
von einem Beleuchtungshimmel umgeben ist,dessen flachige Lichtquellenanordnung (2) sich mit vorgebba- 
rer Winkel- und Intensitatsabstufung frei programmieren laBt, rnittels derselben eine variable Anzahl 
beliebiger Lichtfunktionen erzeugt wird, die das Objekt nacheinander beleuchtet und das Objekt zusatzlich 
aus einem begrenzten Raumwinkelbereich mit einer weiteren programmierbaren Lichtquelle (3) uber eine 
Kollimationsoptik so beleuchtet wird, daB fur alle Punkte einer ebenen Objektoberfllche die Reflexions- 
winkelbedingung erfullt wird und eine geeignet gewahlte Punktquelle uber die als ebener Spiegel gedachte 
Oberflache in die (Camerapupille abgebildet wird, und die entstehenden Bilder von der Videokamera (7) 
aufgenommen und in einer Bildspeichereinrichtung (9) abgespeichert und die Grauwertfolgen des aufge- 
nommenen Bildstapels einer Merkmalsanalyse unterzogen werden. 

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daB die Beleuchtungsfunktionen elliptische ring-, 
sektor- oder ringsektorfdrmige Verteilungen aufweisen und die Merkmalsanalyse eine Fourier- oder ahnli- 
che Transformation ist, die eine rotationsinvariante Klassifizierung der Merkmale bewirkt. 

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daB jede Lichtquelle innerhalb des Beleuchtungs- 
himmels aus einer Mehrzahl von getrennt ansteuerbaren Farblichtquellen, vorzugsweise grun, rot und blau, 
besteht und gleichzeitig je ein Bild mit den verschiedenen uberlagerten Farben aufgenommen wird, wobei 
ein Farbbild jeweils mindestens drei aufeinanderfolgende Graubiider ersetzt. 

4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daB zur Kompensation oder Messung einer gering- 
fiigigen Verkippung der Objektebene der Nullpunkt des Beleuchtungskoordinatensystems in diejenige 
Punktlichtquelle gelegt wird, die Uber die als Spiegel gedachte Objektebene in die Kamerapupille abgebil- 
det wird und damit zum Hellfeld fuhrt 

5. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, daB der Algorithmus der hierarchischen Fehlerklas- 
sifikation mit Fouriertransformation wie folgt ist: 
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Grauwertdaten des Beleuchtungsversuchs: 
N Sektoren-, Hellfeld-, Dunkelfeldbeleuchtung 
= N+2 Bilder 



Extrahiere eine Grauwertsequenz 
d n (n=0,1 N+1) 


ja 

<T d N d t> 


J+1 >s 0 

nein 




Fourier Transformation 
d n (n-0,1 N-1)-» D k 0k (k=0.1,2) 








Spiegel 



Kratzer Punkt Fleck 

(Orientierung:0 2 ) 



6. Vorrichiung zum beleuchtungsdynamischen Erkennen und Klassifizieren von Oberflachenmerkmalen 
und -defekten eines Objektes (1), wobei die zu detekticrende Oberflache mittels mehrerer Beleuchiungs- 
quellen (2, 3) beleuchtbar isi, die eine unterschiedliche Positionierung im Raum haben und die Beleuchiungs- so 
quellen sequentiell das Objekt beleuchten und das von der Oberflache in jedem Zeitpunkt jeweiis diffus 
zuriickgeworfene oder reflektiene Licht mittels einer Videokamera (7) und einer Bildspeichereinrichtung 

(9) als raum-zeitlich verschiedene Bilder aufnehmbar ist, gekennzeiehnet durch folgende Merkmale: 

a) ein Beleuchtungshimmel (Kuppel) aus einer Vielzahl von frei programmierbaren Lichtquellen (2), die 

zu beliebig geformten Beleuchtungsfunkiionen zusammenfaBbar sind, die zur sequentiellen Beleuch- 55 
tung des Objektes aus vorgebbaren Raumwinkelbereichen dienen, 

b) wenigstens eine programmierbare Lichtquelle (4) mit einer Linsen- oder Spiegeloptik (5) zur gleich- 
mSBigen reflektorischen Hellfeld-Beleuchiung von ebenen oder schwach gekriimmten Oberflachen, 

c) ein Algorithmusgenerator, der die von der Videokamera aufgenommenen Bild- bzw. Farbbildstapel 
einer Transformation zu unterwerfen imstande ist, womit bei geeigneter Wahl der Beleuchtungsfunk- «> 
tion die gesuchien Oberflaehenmerkmale und Fehlertypen mit maximalem Signal-Rausch-Abstand 
detektierbar und klassifizierbar sind. 

7. Vorrichtung nach Anspruch6.dadurch gekennzeiehnet. daB die Beleuchtungsfunkiionen aus einer Anzahl 
von Ringsektoren (s mjl ) bestehen, deren damit erzeugte Grauwertbildfolgen einer 1D- oder 2D-Fourier- 
transformation bezflglich der Beleuchtungskoordinaten bzw. der Ringsektorindices m und n unterworfen 65 
werden. wobei mittels der erhaltenen Koeffizienten eine rotationsinvarante Klassifizierung der Merkmale 
durchgefflhrt wird. 

8. Vorrichtung nach Anspruch 6. dadurch gekennzeiehnet. daB der Beleuchtungshimmel ein innen verspie- 
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gelter, konkav gekriimmter Hohlspiegel (11) ist, der in seinem obersten Bereich eine Aussparung (12) 
aufweist, oberhalb derselben sich die zur reflektorischen Beleuchtung dienende Beleuchtungseinrichtung 
(23) befindet und daB die zur diffusen Beleuchtung dienende Beleuchtungseinrichtung (14, 26) aus ebenen 
Lichtquellenfeldern (15, 15', 15"; 28, 28') besteht, die sich unterhalb des Hohlspiegels befinden, wobei das 
Objekt (10) unterhalb der Aussparung (12) und ungefahr mittig innerhalb der ebenen Lichtquellenfelder 
innerhalb des Sammelpunktes bzw. der Sammelf lache des Hohlspiegels angeordnet ist 

9. Vorrichtung nach Anspruch 8, dadurch gekennzeichnet, dafi der Hohlspiegel ein Parabolspiegel (11) ist 
und sich das Objekt (10) im Brennpunkt bzw. ungefahr innerhalb desselben befindet 

10. Vorrichtung nach Anspruch 8, dadurch gekennzeichnet, dafi der Hohlspiegel ein Kugelspiegel oder ein 
Ellipsoidspiegel oder ein ahnlich gekrummter Spiegel ist und sich das Objekt (10) im Brenn- bzw. Mittel- 
punkt bzw. ungefahr innerhalb desselben befindet. 

11. Vorrichtung nach Anspruch 8, dadurch gekennzeichnet, daB die Lichtquellenfelder ebene LED-Arrays 
(15, 15', 15"; 28, 28') sind, die auf einer gemeinsamen Ebene (35) unterhalb des Hohlspiegels angeordnet und 
mit einem Diffusor (18, 30) abgedeckt sind. 

12. Vorrichtung nach Anspruch 8 oder 1 1, dadurch gekennzeichnet, daB zwischen den Lichtquellenfeldern 
(15, 15', 15") und dem Hohlspiegel (11) ein transparenter Trager (13) zum Plazieren des Objektes (10) 
angeordnet ist 

13. Vorrichtung nach einem der vorherigen Ansprdche, dadurch gekennzeichnet, daB die Beleuchtungsein- 
richtungen (14, 23, 26), insbesondere die LED-Arrays (15, 15', 15"; 28, 28'), frei programmierbar sind. 

14. Vorrichtung nach einem der vorherigen Anspriiche, dadurch gekennzeichnet, daB die zur reflektorischen 
Beleuchtung dienende Beleuchtungseinrichtung (23) aus einem LED-Array besteht, vor dem ein Diffusor 
und oberhalb der Aussparung (12) des Hohlspiegels (11) ein Teilerspiegel (20) angeordnet ist, der das vom 
Objekt (10) reflektiert Licht auf die Videokamera (21) leitet 



Hierzu 4 Seite(n) Zeichnungen 



10 



ZEICHNUNGEN SEfTE 1 



Nummer: 
Int. CI.*: 

Offenlegungstag: 



OE 41 23 816 A1 
G01N 21/84 

23Januar1992 




108064/618 



ZEICHNUNGEN SEITE 2 



Nummer: 
Int. Cl.»: 

Offenlegungstag: 



DE 41 23 918 A1 
Q 01N 21/84 

23. Janusr1992 




108064/618 



ZEICHNUNGEN SEITE 3 



Nummer: 
IntCI. 5 : 

Offenlegungstag: 



DE 41 23 916 A1 
G01N 21/84 

23.Januar1992 



Grauwertdaten des Beleuchtungsversuchs: 
N Sektoren-, Hellfeld-, Dunkelfeldbeleuchtung 
= N+2 Bilder 



Extrahiere eine Grauwertsequenz 
d n (n=0,1 ,N+1) 






nein 


Fourier Trans 
d„(n=0,1 N-1) ■* 


formation 
D K0k (k=0,1.2) 








Spiegel 



Kratzer Punkt Fleck 

(Orientierung:0 2 ) 



Fig. 3 



108064/618 



ZEICHNUNGEN SEfTE 4 



Nummer: 
Int. Cl. s : 

Offenlegungstag: 



DE 41 23 916 A1 
COIN 21/14 

23. Jamjar 1992 




108064/618 



espacenet — Bibliographic data 



Page 1 of 1 



Identifying and classifying surface qualities and defects of object - 
using video camera to store reflected images arising from sequential 
exposure to light from distributed sources 



Publication number: DE4123916 (A1) 
Publication date: 1992-01-23 



Inventor(s): 
Applicant(s): 
Classification: 
- International: 



MALZ REINHARD [DE] + 
MALZ REINHARD [DE] + 



G<HAI2f/88;G01N21/88; (IPC1-7): G01B11/30; G01J1/08; 
G01M11/00; G01N21/84; G01N21/88; G02B19/00; G06K9/20 
-European: G01N21/88K 
Application number: DE19914123916 19910719 

Priority number(s): DE19914123916 19910719; DE19914101266 19910117; 
DE 19904023026 19900719 



Also published as: 

@DE4123916 (C2) 
Cited documents: 

□ DE3534019(C2) 

□ DE3815539(A1) 

□ DE3540288(A1) 

□ GB2185813(A) 
ID US4876455 (A) 



Abstract of DE 4123916 (A1) 

The surface to be detected is illuminated from 
several sources (2,3) in different places. The 
sources illuminate the surface in sequence. The 
diffusely returned or reflected light at each point in 
the time sequence is recorded as space-time 
images by means of a video camera (7) with an 
image memory (9). The object is surrounded by an 
illuminating canopy whose surface light source 
arrangement is freely programmable w.r.t. angle and 
intensity stages. A further programmable light 
source (3) with a collimating optic (5) enables all 
points of a flat object surface to fulfil the reflection 
angle condition for the pupil of the camera lens.; 
USE/ADVANTAGE - Characteristics and defects of 
surface such as edges, textures, nicks, colour spots, 
mat section, waves, cracks of objects such as metal 
pieces, ceramic discs, metal sheets, semiconductor 
Chips, hybrid components, SMD's and their circuits, 
seals. Rapid detection and classification. 
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